Martial Arts, Dancing and Sports Dataset

Weichen Zhang Department of Computer Science, City University of Hong Kong, Tat Chee Avenue, Kowloon, Hong Kong Special Administrative Region

Zhiguang Liu Department of Computer Science, City University of Hong Kong, Tat Chee Avenue, Kowloon, Hong Kong Special Administrative Region

Liuyang Zhou Department of Computer Science, City University of Hong Kong, Tat Chee Avenue, Kowloon, Hong Kong Special Administrative Region

Howard Leung Department of Computer Science, City University of Hong Kong, Tat Chee Avenue, Kowloon, Hong Kong Special Administrative Region

Antoni B. Chan Department of Computer Science, City University of Hong Kong, Tat Chee Avenue, Kowloon, Hong Kong Special Administrative Region

Human pose estimation is one of the most popular research topics in the past two decades, especially with the introduction of human pose datasets for benchmark evaluation. These datasets usually capture simple daily life actions. Here, we introduce a new dataset, the Martial Arts, Dancing and Sports (MADS), which consists of challenging martial arts actions (Tai-chi and Karate), dancing actions (hip-hop and jazz), and sports actions (basketball, volleyball, football, rugby, tennis and badminton). Two martial art masters, two dancers and an athlete performed these actions while being recorded with either multiple cameras or a stereo depth camera. In the multi-view or single-view setting, we provide three color views for 2D image-based human pose estimation algorithms. For depth-based human pose estimation, we provide stereo-based depth images from a single view. All videos have corresponding synchronized and calibrated ground-truth poses, which were captured using a Motion Capture system. We provide initial baseline results on our dataset using a variety of tracking frameworks, including a generative tracker based on the annealing particle filter and robust likelihood function, a discriminative tracker using twin Gaussian processes 1, and hybrid trackers, such as Personalized Depth Tracker 2. The results of our evaluation suggest that discriminative approaches perform better than generative approaches when there are enough representative training samples, and that the generative methods are more robust to diversity of poses, but can fail to track when the motion is too quick for the effective search range of the particle filter. The data and the accompanying code will be made available to the research community. We propose a new dataset called the Martial Arts, Dancing and Sports dataset for 3D human pose estimation.The dataset contains challenging actions from Tai-chi, Karate, jazz, hip-hop and sports.It contains 30 multi-view videos and 30 stereo depth videos, with a total of 53,000 frames.We provide initial results using several baseline algorithms.

ヒューマンポーズの推定は、特にベンチマーク評価のためのヒューマンポーズデータセットの導入に伴い、過去20年間で最も人気のある研究トピックの1つです。これらのデータセットは通常単純な日常生活の行動を捉えます。ここでは、挑戦的な格闘技アクション（太極拳と空手）、ダンスアクション（ヒップホップとジャズ）、およびスポーツアクション（バスケットボール）からなる新しいデータセット、格闘技、ダンスとスポーツ（MADS）を紹介します。バレーボール、サッカー、ラグビー、テニス、バドミントン） 2人の総合格闘技のマスター、2人のダンサー、および1人の運動選手が、複数のカメラまたはステレオ深度カメラのいずれかで記録されている間にこれらのアクションを実行しました。マルチビューまたはシングルビュー設定では、2D画像ベースのヒューマンポーズ推定アルゴリズム用に3つのカラービューを提供します。深度ベースの人間の姿勢推定のために、我々は単一のビューからステレオベースの深度画像を提供する。すべてのビデオには、対応する同期およびキャリブレーション済みのグランドトゥルースポーズがあり、モーションキャプチャシステムを使用してキャプチャされています。我々は、アニーリング粒子フィルタとロバスト尤度関数に基づく生成トラッカー、ツインガウス過程を使った識別トラッカー1、そしてPersonalized Depth Trackerのようなハイブリッドトラッカーを含む様々な追跡フレームワークを使って、我々のデータセットの初期ベースライン結果を提供する。 2。我々の評価の結果は、十分な代表的訓練サンプルがある場合には識別的アプローチが生成的アプローチよりも優れていること、そして生成的方法は姿勢の多様性に対してよりロバストであるが効果的な探索にとって動きが速すぎる場合追跡できないことを示唆するパーティクルフィルタの範囲データと付随するコードは研究コミュニティに利用可能にされるでしょう。 3Dヒューマンポーズ推定のための武術、ダンス、スポーツのデータセットと呼ばれる新しいデータセットを提案します。このデータセットには、太極拳、空手、ジャズ、ヒップホップ、スポーツからの挑戦的なアクションが含まれます。合計53,000フレームの深度ビデオ。いくつかのベースラインアルゴリズムを使用して初期結果を提供します。

@ARTICLE{Zhang:2017:MAD,

author = { W. Zhang and Z. Liu and L. Zhou and H. Leung and A. B. Chan},

title = "{Martial Arts, Dancing and Sports Dataset}",

journal = {Journal of Image Vision Computing},

issue_date = {May 2017},

volume = {61},

number = {C},

month = may,

year = {2017},

issn = {0262-8856},

pages = {22--39},

numpages = {18},